Ông sinh ra và lớn lên trong một gia đình có truyền thống Nho học ở đất Hải Phòng,quê quán tại Nam Trực(Nam Đinh). Thế nhưng ngay từ nhỏ, ông đã sớm đam mê bóng đá. Năng khiếu đá bóng của ông sớm phát lộ nên đến năm 1955, Vũ Văn Tư được chọn vào đội trẻ của Cảng Hải Phòng khi vừa bước qua tuổi 17.

Trong hơn 11 năm thi đấu, Vũ Văn Tư, được biết đến với biệt danh Tư "cá sấu" mang áo số 9 đá vị trí tiền đạo cắm, hợp cùng Nguyễn Văn Túc (Túc "gù"), Hoàng Kính Dịp và Đặng Ngọc Việt tạo nên bộ tứ tấn công "Tư, Túc, Dịp, Việt" trên hàng công trong sơ đồ chiến thuật 4-2-4.